大家好,昨天我們聊了 NIST AI RMF 的前半部,也就是建立制度的地基(GOVERN)和系統化找出地雷(MAP)。
今天,我們要來看這套美國國家級 AI 安全框架的後半部:MEASURE(量測) 與 MANAGE(管理)。
這兩個功能的邏輯非常直覺:
「你沒辦法管理你沒辦法量測的東西(What you can't measure, you can't manage)。」
如果你說「我們公司的 AI 系統很安全、對駭客很有抵抗力」,你不能只憑感覺,你得用客觀的指標把分數算出來(MEASURE)。
而有了指標之後,你才能針對不及格的地方,進行具體的風險控制與持續監控(MANAGE)。
今天我們就來聊聊,如何幫 AI「量體溫」,以及當 AI 發燒出事時,防守方該怎麼處理。
MEASURE 的核心目標,就是把主觀的「安全」、「強韌」或「公平」,變成客觀、可重複驗證的數學指標。
在實務評估和 GRC 稽核中,NIST 特別強調,任何安全量測必須具備這兩個核心基石:
如果量測結果不能重複或再現,這就是「無效量測」。在建立好這個量測基石後,我們會去測量以下五個關鍵維度:
根據 AI 負責的任務,選擇對應的指標。如果是分類任務(比如偵測垃圾郵件、抓病毒),我們最常看 Precision(精確率)、Recall(召回率) 和 F1-Score(調和平均數)。
AI 不能因為使用者的性別、年齡或種族而有差別待遇。
常見的測量方法有:
這就是對 AI 模型進行「壓力測試」。
量化人類「看懂 AI 決策理由」的程度。最常用的量化方法是利用 LIME 或是 SHAP 演算法,把每個特徵對 AI 決策的貢獻度畫成直方圖。
核心問題:「根據我們測量出來的體溫,我們該採取什麼行動?」
MANAGE 是 NIST AI RMF 的「執行手腳」。它要把前面的評估結果,轉化成具體的安全防守動作:
面對測量出來的 AI 風險,我們有四種標準處置策略(在選擇時,會高度取決於企業自身的風險容忍度 Risk Tolerance):
當 AI 系統真的遭遇安全事故(例如:大模型被提示詞注入搞瘋了、天天對著客戶飆髒話,或者被注入惡意程式碼),我們需要啟動 AI 專屬的事件應變計畫(Incident Response Plan)。
💡 自學筆記:熔斷與降級備援是寫系統的硬道理!
像我們寫系統這麼多年,一讀到 AI 事故應變時要考慮 降級備援(Fallback) 與 故障安全(Fail-safe) 機制,直覺立刻就接上了。
這完全就是我們在系統架構中天天在談的 「熔斷機制(Circuit Breaker)」 嘛!
當大模型被灌了迷湯、言論失控時,我們不能直接把服務中斷(這會導致 DoS),最優雅的作法是讓系統自動熔斷、並進行 模型回滾(Model Rollback) 退回到上一個安全的模型版本;或者乾脆自動降級為傳統、最安全的 If-Else 靜態客服選單(請按 1 查餘額、按 2 接專人...)。
雖然看起來變笨了,但它絕對安全,不會對外噴出不該說的話,這才是我們寫高可用性系統的實務硬道理!
AI 上線後不是就一勞永逸了,必須像監控主機一樣天天看:
當 AI 完成歷史任務需要下線時,必須做好安全處置:
NIST AI RMF 的四個功能絕對不是走完一次就結束的線性流程,它是一個持續迭代的閉環(Feedback Loop):
NIST AI RMF 持續改進閉環
┌─────────────────────────────────┐
│ GOVERN(治理) │ ──→ 建立政策與角色地基(最核心)
└────────────────┬────────────────┘
│
┌───────────────┼───────────────┐
▼ ▼ ▼
┌───────┐ ┌───────┐ ┌───────┐
│ MAP │ ───→ │MEASURE│ ───→ │MANAGE │
│ 找風險 │ │ 量分數 │ │ 做處置 │
└───────┘ └───────┘ └───┬───┘
▲ │
└───────────────────────────────┘
持續回饋與調整
Q: 某家醫院評估了一款 AI 腫瘤診斷系統。在對該系統進行『隱私風險量測』後,安全團隊發現其面臨極高的成員推斷攻擊風險。由於該風險高於醫院的容忍度,團隊決定在訓練階段實施 DP-SGD 差分隱私算法,以將隱私外洩機率控制在安全範圍內。請問這家醫院採取的風險回應策略,屬於以下哪種類型?
A. 風險規避(Avoid)
B. 風險轉移(Transfer)
C. 風險接受(Accept)
D. 風險緩解(Mitigate)
【正確答案】D
【解析】
實施差分隱私算法、將風險控制在安全範圍內。明天我們要來聊聊 AI 治理的最後一個神兵利器:ISO/IEC 42001(AI 管理體系國際標準)。我們要來看看,它是如何把歐盟 AI 法案和 NIST RMF 的概念,包裝成可以拿到外部稽核認證的 ISO 標準!
我們明天見啦!